张阳团队Trends in Parasitology综述丨融合专家知识的深度学习技术在显微镜寄生虫学图像分析中的应用

▲ 点击上方蓝字关注CellPress细胞科学 ▲

生命科学

Life science

在微观世界中，显微镜图像分析对于寄生虫学研究至关重要。已有大量基于机器学习和深度学习而建立的显微镜图像分析模型。然而在寄生虫分析领域，大量的专家知识和经验并没有被充分利用，使得模型忽视了更多寄生虫专业领域内的信息。随着人工智能特别是深度学习技术的快速发展，其在显微镜寄生虫图像分析领域的应用逐渐增多。然而，传统的深度学习模型往往依赖大量数据，并具有“黑盒”特性，缺乏解释性，与领域内专家知识和经验的关联性尚未进行探索，限制了其在临床和科研中的全面应用。

为解决这一问题，哈尔滨工业大学（深圳）的张阳团队在Cell Press细胞出版社旗下期刊Trends in Parasitology以封面发表了题为“AI-powered microscopy image analysis for parasitology: integrating human expertise”的论文。该论文系统且详细地介绍了在显微镜寄生虫图像分析领域，如何将人类专家知识融入深度学习模型之中。通过引入寄生虫学专家的丰富知识，AI模型不仅能够更精准地识别特定的寄生虫特征，还能显著提升决策的准确性和可解释性。这种融合不仅突破了数据驱动模型的局限性，还将寄生虫领域内的专家知识引导AI进行融合学习，为寄生虫学研究和临床应用开辟了新的前景。该论文还总结了其课题组在这一领域的前期研究成果，包括利用专家知识引导微观寄生虫检测，建立迁移学习模型以检测疟原虫、弓形虫、巴贝斯虫等多种微生物（参考文献：STAR Protocols, 2023; Bioinformatics, 2020; mSystems, 2020; Gigascience, 2021）。这些研究成果充分展示了专家知识与AI技术结合的巨大潜力，强调了人类专家的先验经验在AI显微图像分析中的重要作用。

有兴趣在Trends in Parasitology发表您的综述文章？请扫描提交论文提案 (presubmission inquiry)。

在现代医学研究中，显微镜图像分析是寄生虫学研究的基石。在寄生虫学中，显微镜图像分析包括多种任务，如寄生虫的识别、分类、定位和数量估计。例如，在疟疾诊断中，需要从血涂片中准确识别并区分不同种类的疟原虫（如恶性疟原虫和间日疟原虫）。传统的人工方法依赖于显微镜下的视觉检查，这不仅效率低下，而且容易受到操作者经验和疲劳的影响。

随着人工智能技术，尤其是深度学习技术的迅猛发展，其在显微镜寄生虫图像分析领域的应用越来越广泛。然而，由于传统深度学习方法的“黑盒”性质，这些方法仅依赖深度学习的让模型学习显微镜寄生虫图像的通用分类模式，而没有结合寄生虫学领域的专业知识。因此，学习到的特征往往缺乏足够的可解释性，不具备任何的专业特性，这限制了其在临床和研究设置中的应用。

为了克服这些限制，融合专家知识的深度学习模型在寄生虫学图像分析中显示出巨大潜力。通过整合寄生虫学专家的先验知识和丰富经验，这些模型不仅能学习更准确和契合专业性的特征表示，还能增强模型的透明度和可解释性，大大增强人工智能模型在寄生虫领域的可信度和认可度（图1）。

▲图1 融合专家知识的深度学习技术在显微镜寄生虫学图像分析中的应用

整合专家知识的关键在于如何有效地表示和整合定量与定性专家知识。定量知识通常涉及可以用确切数值表达的数据，如寄生虫的大小、形状的数学描述等。例如，微宏观相关性（Micro and Macro Correlation，MMC）方法[1]借助专家经验中的微观寄生虫与宏观物体相似性，如图2所示。具体而言，寄生虫之间形态多样且各自具有典型特征，基于寄生虫学家的知识经验(如疟原虫似戒指，弓形虫与香蕉相近，巴贝斯虫类似梨形，红细胞形似苹果）。从形态学角度观察，该研究基于专家知识对各寄生虫与宏观目标的几何特性抽象出微宏观相关性MMC指标来量化形态学相似度，为选择微宏观关联目标提供了量化工具，指导深度学习模型通过宏观目标辅助来学习和识别微观寄生虫图像。MMC计算流程如下，首先提取目标上下左右方向四个极值点以构建微观和宏观对象的形态图结构。其次，依据建立的极值点与边的图结构，计算图论中的距离特征谱，表达极值点之间的几何特征，最后基于特征谱的距离相似度来计算微宏观指标MMC值，最后为待选目标构建相似度矩阵来评估微观和宏观对象的最佳匹配 [1]。

▲图2 基于几何相似性的微宏观相关性示意图

此外，江浩等人[2]提出的几何光谱后处理策略通过使用四组极点来优化检测结果，通过比较检测到的寄生虫几何形状与目标寄生虫的尺寸分布特征，提高了模型的准确性。在处理复杂的寄生虫的相互关系时，图数据结构的应用展示了其优势[3]，每个节点代表不同生长阶段的单个寄生虫图像，而图数据结构中的边则连接同一寄生虫类别的节点，为寄生虫疾病的动态演变模式建立了图关系，映射了寄生虫专家对于寄生虫生长阶段的经验知识。以上结合专家经验的深度学习寄生虫识别模型可以直接用来训练模型识别不同种类的寄生虫，从而提高相关疾病的诊断与治疗效率。

而定性知识则更侧重于寄生虫学专家长期积累的宝贵经验和直觉，如寄生虫的生活习性或是病变的特点，这类知识通常需要转化为模型可以理解的格式，比如通过标注训练图片中寄生虫的位置来教会模型如何识别目标。例如，李森[4]等人的研究展示了如何将寄生虫学家的公认常识性经验——例如弓形虫常呈香蕉形状——直接融入深度学习模型的训练中。他们通过训练一个模糊循环生成对抗网络来学习这种定性知识，从而在没有依赖手动标注弓形虫图像的情况下，实现了较高的分类精度。这种方法不仅说明了定性知识如何影响深度学习模型的识别能力，还证明了它如何提升模型在解决复杂识别任务中的泛化能力。

将寄生虫领域专家知识和经验融入到深度学习模型中，主要采用监督学习、半监督学习和自监督学习等多种方法（图1）。监督学习依赖于大量的标注数据来训练模型，这在某些寄生虫图像分析任务中是可行的，特别是在种类识别和数量估计上。半监督学习和自监督学习则能够在标注数据较少的情况下，通过未标注的数据辅助模型训练，减少对人工标注的依赖，提高模型的泛化能力。

在选择网络架构时，常见的模型包括循环神经网络（RNN）、卷积神经网络（CNN）、多头自注意力网络（Transformer）和图神经网络（GNN）（图3）。这些网络各有优势，RNN适用于处理序列数据，如跟踪寄生虫的生长周期；CNN因其在图像识别方面的高效表现而被广泛应用于寄生虫图像的分类和分割任务；Transformer利用其自注意力机制，能够处理大规模的数据集，适合复杂的寄生虫图像分析任务；而GNN则能够模拟寄生虫与宿主之间复杂的交互关系，学习不同生长阶段寄生虫的特点[3]。

▲图3 寄生虫显微镜图像分析中使用的不同网络结构

上述深度学习网络结构，在与专家知识整合学习过程中均表现优秀，证明寄生虫图像分析领域的人工智能模型结合专家领域知识的应用前景广阔。为了更好地帮助不擅长编程的寄生虫学家了解如何使用这些专家知识整合的模型，可以参照其课题组前期在Cell Press旗下STAR Protocols发表的 protocol [5]。这些技术的进步不仅能提高疾病诊断的准确性和效率，还能在理解寄生虫与宿主之间的复杂互动中发挥重要作用。随着越来越多的数据被收集和分析，深度学习模型的精准度和可靠性将持续提高，从而推动寄生虫学研究和相关疾病治疗策略的进一步发展。

本文参考文献（上下划动查看）

1.      Li, S., Yang, Q., Jiang, H., Cortes-Vecino, J. A., and Zhang, Y. (2020). Parasitologist-level classification of apicomplexan parasites and host cell with deep cycle transfer learning (DCTL). Bioinformatics, 36(16), 4498-4505.

2.      Jiang, H., Li, S., Liu, W. H., Zheng, H. J., Liu, J. H., and Zhang, Y. (2020). Geometry-Aware Cell Detection with Deep Learning. mSystems, 5(1), e00840-19.

3.      Li, S., Du, Z. Y., Meng, X. J., and Zhang, Y. (2021). Multi-stage malaria parasite recognition by deep learning. GigaScience, 10(6), giab040.

4.      Li, S., Li, A. J., Lara, D. A. M., Marin, J. E. G., Juhas, M., and Zhang, Y. (2020). Transfer Learning for Toxoplasma gondii Recognition. mSystems, 5(1), e00445-19.

5.      Feng, R. J., Li, S., and Zhang, Y. (2023). A knowledge-integrated deep learning framework for cellular image analysis in parasite microbiology. STAR Protocols, 4(3), 102452.

论文作者介绍

冯睿隽 

研究助理

第一作者：冯睿隽，哈尔滨工业大学（深圳）研究助理，现为新南威尔士大学计算机专业博士生。近年来，主要开展人工智能在显微镜图像分析的交叉研究。发表高水平论文10篇，包括TrAC-Trends in Analytical Chemistry（2024），Expert Systems with Applications（2024），STAR Protocols（2023），Information Sciences（2021）等国际知名学术期刊。兼任IEEE Transactions on Neural Networks and Learning Systems，International Conference on Artificial Neural Network在内的多个国际期刊及会议的审稿人。

张阳  

副教授

通讯作者：张阳，哈尔滨工业大学（深圳）副教授，博士生导师。兼任BMC Biology和 PLOS Genetics的编辑以及TrAC-Trends in Analytical Chemistry的客座编辑。近年来，主要开展人工智能生物计算和生物分析交叉研究。发表高水平SCI论文50余篇，其中ESI高被引论文4篇。主持国家自然科学基金面上项目，广东省和深圳市面上项目以及英国皇家化学会合作研究基金等科技项目。同时担任 Nature Biotechnology, Nature Methods, Nature Communications, Chemical Reviews 等五十余个国际知名期刊的审稿人。

相关论文信息

相关研究发表在Cell Press细胞出版社

旗下期刊Trends in Parasitology，

点击“阅读原文”或扫描下方二维码查看论文

▌论文标题：

AI-powered microscopy image analysis for parasitology: integrating human expertise

▌论文网址：

https://www.cell.com/trends/parasito-

logy/fulltext/S1471-4922(24)00134-X

▌DOI：

https://doi.org/10.1016/j.pt.2024.05.005

▲长按识别二维码阅读论文

推荐阅读

▲长按识别二维码关注细胞科学